Pada tahun 1963, sejurus selepas Konfrontasi Malaysia - Indonesia , kerajaan Perikatan menahan ahli politik dan aktivis pembangkang di bawah Akta Keselamatan Dalam Negeri ( ISA ). Antara yang ditangkap dan ditahan ialah Ahmad Boestamam , Ishak Haji Muhammad , Abdul Aziz Ishak (ketua Geram), Datuk Kampo Radjo (kemudian presiden PRM), Tan Kai Hee, Tan Hock Hin, Dr Rajakumar, Hasnul Hadi, Tajuddin Kahar dan beratus-ratus orang lain.

Aziz dituduh sebagai pengkhianat dan bekerjasama dengan ejen-ejen Indonesia untuk membentuk kerajaan dalam buangan tapi beliau nafikan. Beliau telah ditahan ISA dari 1965-1966.

Beliau menolak semua tawaran anugerah oleh kerajaan negeri dan persekutuan.